Masjid ini dibina pada tahun 1909[2], ia merupakan salah satu di antara masjid yang tertua di Kuala Lumpur. Pembinaannya direkabentuk dan diselia oleh Pemangku Arkitek Kuala Lumpur, Arthur Benison Hubback, yang sebelum ini bertugas di Jabatan Kerja Awam di India. Pihak British membina Masjid Jamek berhampiran dengan pusat pentadbiran iaitu Bangunan Sultan Abdul Samad di seberang Sungai Gombak.Masjid ini memudahkan kakitangan kerajaan beragama Islam mengerjakan solat lima waktu dan solat Jumaat.

Seni bina masjid ini menjadikan ia sebagai mercu tanda yang kemudiannya berkembang sebagai nadi bandaraya Kuala Lumpur. Masjid Jamek merupakan masjid utama bagi solat Jumaat dan pusat aktiviti Islam sehinggalah pembinaan Masjid Negara pada tahun 1967. Masjid ini tidak dapat diperbesarkan kerana dihimpit oleh Sungai Klang dan Sungai Gombak. Awalnya ,mereka yang hendak solat perlu mengambil wuduk di bucu pertemuan sungai. Beberapa lapis tangga dibina ke dalam sungai untuk memudahkan orang ramai mengambil air sembahyang.